Conan-embedding-v3: Fusing Modality-Specific Models for Omni-Modal Embedding
Conan-embedding-v3: 解耦融合模态专家实现全模态嵌入
🧭 全模态嵌入 · 解耦融合训练框架
Tencent · Tsinghua University
提出解耦-融合-恢复框架，解决多模态模型融合中的Projector Drift问题，实现单骨干统一检索
📌 工作参考价值（4 点）
- 若已独立训练好文本、图像、音频等模态专家，可直接用任务向量融合合成统一模型，无需昂贵联合预训练，适合快速落地多模态搜索。
- 对带有独立编码器和投影器的模态（如音频、视频），融合后必须留意 Projector Drift：即使参数不变，骨干偏移也会导致投影器失效；可采用 冻结骨干、全参数微调投影器 的策略低成本恢复性能。
- 平衡多模态重放 能有效缓解融合后的灾难性遗忘，实践中可按等比例或等采样策略混入各模态数据做轻量微调。
- 在电商场景下，商品描述、图片、视频、直播音频等模态差异大，该方法为构建统一检索模型提供了清晰路径，可实现一键搜索所有“货”模态。